Nguyên thủy, tước hiệu này bắt nguồn từ danh xưng Pfalzerzherzog, tạm dịch là Cung trung Công tước. Nó được Công tước Rudolf IV đặt ra vào năm 1356. Sắc lệnh vàng (tiếng La tinh: aurea bulla) năm 1356 của Hoàng đế Karl IV quy định những công tước hay hầu tước có quyền được bầu hoàng đế, điều này gắn liền với một loạt các đặc quyền khác. Nước Áo không được nhắc đến trong sắc lệnh này nên ngay sau đó Rudolf đã cho giả mạo một đặc quyền (Privilegium Maius) mà trong đó ngoài những điều khác ra còn ban cho ông tước hiệu Pfalzerzherzog và như vậy là đặt ông ngang hàng với các tuyển hầu (Kurfürst), đứng trên các công tước (Herzog) khác. Thế nhưng tước hiệu này không được hoàng đế chấp nhận. Mãi đến năm 1453 Hoàng đế Friedrich III mới công nhận tước hiệu này và vì thế làm cho tước hiệu này trở thành luật lệ có giá trị. Từ đấy, nước Áo là một Đại công quốc (tiếng Đức: Erzherzogtum, tạm dịch là Vương công quốc) và tước hiệu này trở thành một đặc điểm của dòng họ Habsburg[3]. Tước hiệu Đại công tước Áo là do muốn có quan hệ đến các tuyển hầu tước, những người còn được biết đến thuộc đẳng cấp đại vương hầu (Erzfürst). Danh hiệu Erzherzog được Ernst Sắt đá (Ernst der Eiserne) sử dụng lần đầu tiên.

Trong bức chân dung của Rudolf IV, tước hiệu này được biểu tượng bằng một vương miện Đại vương công Áo, nhưng thật ra vương miện này không có thật. Erst Sắt đá đã cho làm một vương miện tương tự và khi Đại vương công Ferdinand II qua đời năm 1559 một vương miện như vậy cũng được chế tạo. Tuy vậy vương miện thật sự của Đại công quốc Áo, được gọi là Mão đại vương công (Erzherzoghut) được làm theo yêu cầu của Maximilian III và từ đấy được giữ trong tu viện Klosterneuburg (Áo). Mỗi khi có lễ thần phục của một đại công tước, chiếc mũ này được mang đến Viên (Áo), lần cuối cùng là năm 1835. Thêm vào đó là vẫn còn 2 chiếc vương miện đại công tước Áo khác hiện vẫn còn giữ được, một chiếc ở Maria Stein gần Wörgl của vùng Tirol và ở Steiermark (Áo). Vương miện do Joseph II đặt làm khi ông lên ngôi Hoàng đế của Đế quốc La Mã Thần thánh hiện chỉ còn lại phần vải.

Cho đến năm 1918 Áo chỉ là một đại công quốc (Erzherzogtum), bao gồm hai tiểu bang Oberösterreich (Thượng Áo) và Niederösterreich (Hạ Áo) ngày nay của nước Áo. Danh hiệu đế quốc Áo (Kaisertum Österreich) được tạo ra năm 1804 dùng để chỉ toàn bộ đất đai của dòng họ Habsburg mà trong đó bao gồm cả Đại công quốc Áo.